Năm 1937, 17 tuổi, Lê Đức Anh bắt đầu tham gia các hoạt động cách mạng chống thực dân Pháp.[10] Tháng 5 năm 1938, ông gia nhập Đảng Cộng sản Việt Nam.[2]

Năm 1944, Lê Đức Anh tổ chức và Phụ trách các nghiệp đoàn cao su ở Lộc Ninh. Khi Cách mạng Tháng Tám năm 1945 nổ ra, Lê Đức Anh tổ chức lực lượng gồm 300 người, trang bị vũ khí vừa thu được và giáo mác, tầm vông... kéo xuống thị xã Thủ Dầu Một tham gia tổng khởi nghĩa.

Tháng 8 năm 1945, Lê Đức Anh tham gia quân đội, giữ các chức vụ từ Trung đội trưởng đến Chính trị viên Tiểu đoàn, chi đội 1 và Trung đoàn 301. Từ tháng 10 năm 1948 đến năm 1950, ông là tham mưu trưởng các Quân khu 7, Quân khu 8 và đặc khu Sài Gòn - Chợ Lớn..[11]